缺陷分类是钢铁表面缺陷检测的重要内容。在卷积神经网络（CNN）取得良好效果的同时，网络日益增长的参数量耗费了大量计算成本，为缺陷分类任务在个人计算机或低算力设备上的部署带来了巨大的挑战。针对上述问题，提出了一种新颖的轻量级网络模型Mix-Fusion。首先，通过组卷积和通道洗牌两种操作，在保持精度的同时有效降低计算成本；其次，利用一个狭窄的特征映射对组间信息进行融合编码，并将生成的特征与原始网络结合，从而有效解决了“稀疏连接”卷积阻碍组间信息交换的问题；最后，用一种新型的混合卷积（MixConv）替代了传统的深度卷积（DWConv），以进一步提高模型的性能。在NEU-CLS数据集上的实验结果表明，Mix-Fusion网络在缺陷分类任务中的浮点运算次数和分类准确率分别为43.4 MFLOPs和98.61%。相较于ShuffleNetV2和MobileNetV2网络，Mix-Fusion网络不仅降低了模型参数，压缩了模型大小，同时还得到了更好的分类精度。